优化是寻找最优解的数学过程——在特定规则约束的可行区域内，最小化或最大化目标函数。
经典方法与智能方法
- 牛顿-拉夫逊法：一种利用二阶导数（海森矩阵）进行迭代求根的方法。
- 梯度下降法：一种一阶方法，通过沿负梯度方向移动以逼近局部极小值。
- 进化算法（EAs）：受生物自然选择启发的随机性、基于种群的搜索方法。
关键概念
必须区分决策向量（我们所调整的变量）与目标函数（衡量成功程度的标准）。
编码陷阱
注意梯度消失在基于微积分的方法中，以及汉明悬崖在二进制编码的进化算法中。一个十进制数值的微小变化（例如从7到8）可能需要翻转所有位（0111变为1000），形成‘悬崖’，阻碍搜索效率。建议使用格雷编码来缓解此问题。
Python 实现：梯度下降法
问题 1
为什么凸优化问题被认为比非凸问题“更容易”？
问题 2
在进化算法的背景下，'表现型'代表什么？
案例分析：最大化三角形面积
阅读下方情景，并回答公式化问题。
考虑一个直角三角形面积最大化的问题，其中斜边长度 $c$ 固定。
Q
1. 确定决策变量和目标函数。
答案：
变量：两条直角边的长度，$a$ 和 $b$。
目标函数：最大化 $Area = \frac{1}{2} \cdot a \cdot b$。
变量：两条直角边的长度，$a$ 和 $b$。
目标函数：最大化 $Area = \frac{1}{2} \cdot a \cdot b$。
Q
2. 根据几何性质陈述约束条件。
答案：
根据勾股定理，约束条件为：$a^2 + b^2 = c^2$。
根据勾股定理，约束条件为：$a^2 + b^2 = c^2$。
Q
3. 如果使用牛顿-拉夫逊法，必须计算哪个矩阵以考虑二阶偏导数？
答案：
海森矩阵 ($H$)，包含目标函数的所有二阶偏导数。
海森矩阵 ($H$)，包含目标函数的所有二阶偏导数。